腾讯今日发布了其开源的MOE大型语言模型Hunyuan-large，拥有398B的总参数量和52B的激活参数量。 Los resultados de las evaluaciones públicas muestran que Tencent Hunyuan-Large supera a los modelos de lenguaje grandes de código abierto de primera línea como Llama 3.1 y Mixtral en múltiples conjuntos de evaluación multidisciplinarios como CMMLU, MMLU, CEva-1 y MATH, así como en tareas de PNL en chino e inglés, código y matemáticas en 9 dimensiones. Según se informa, este modelo logra la creación de datos sintéticos de alta calidad a través de la innovación tecnológica, mediante el uso de...

Según CNBC, la startup de inteligencia artificial de San Francisco, Writer, lanzó el miércoles un gran modelo de IA para competir con las ofertas empresariales de compañías como OpenAI y Anthropic. Lo notable es que Writer solo gastó alrededor de 700,000 dólares en el entrenamiento de su último modelo, incluidos datos y GPU, mientras que las startups de la competencia gastaron millones de dólares en la construcción de sus propios modelos. Nota de la imagen: Imagen generada por IA, proveedor de servicios de licencias de imágenes MidjourneyWriter

El último proyecto de Meta AI, Llama3, se centra en el entrenamiento con datos sintéticos en lugar de respuestas escritas por humanos para optimizar el rendimiento del modelo en áreas como generación de código, razonamiento matemático, procesamiento de varios idiomas y manejo de textos largos. Llama3 genera datos sintéticos mediante tres métodos para la generación de código, adapta métodos de investigación para el razonamiento matemático y utiliza anotaciones humanas de alta calidad para el preentrenamiento multilingüe. Además, el entrenamiento de Llama3 se ha mejorado con Brave Search, Wolfram Alpha e intérprete de Python.

Los modelos de lenguaje grandes han generado un gran interés en la comunidad de IA, demostrando capacidades impresionantes. El equipo de investigación de Apple revela la tecnología WRAP para preentrenar modelos grandes con datos sintéticos. WRAP mejora el rendimiento del modelo, reescribe documentos web y mejora la eficacia del preentrenamiento. El uso de datos sintéticos de alta calidad acelera el entrenamiento, mejora el rendimiento general y abre nuevas vías.

Ajustando finamente ChatGPT con indicaciones de densidad en cadena para superar el rendimiento de GPT-4 de muestra cero en tareas de resumen de noticias, acercándose al nivel de indicaciones en cadena de GPT-4. Se logró una evaluación cuantitativa a nivel humano mediante cadenas de evaluación automáticas como ScoreStringEvalChain y PairwiseStringEvalChain mejoradas. Ajustar finamente ChatGPT resultó 11 veces más rápido y un 63% más barato que GPT-4 de muestra cero, y 33 veces más rápido y un 84% más barato que las indicaciones en cadena de GPT-4. Los resultados muestran que el ajuste fino de Cha...

Se espera que el mercado mundial de generación de datos sintéticos alcance un valor de 3500 millones de dólares para 2031, con una tasa de crecimiento anual compuesta (CAGR) del 35,8 %. El crecimiento del mercado de generación de datos sintéticos está impulsado por la transformación digital y las tecnologías avanzadas como la inteligencia artificial, así como por el aumento de la demanda de Internet de las cosas (IoT) y dispositivos conectados. La tecnología de generación de datos sintéticos puede satisfacer las necesidades de privacidad y seguridad de los datos y proporciona un método escalable para generar una variedad de conjuntos de datos.

Los grandes modelos lingüísticos a veces tienden a ser excesivamente complacientes. Un equipo de Google liderado por Quoc Le propone solucionar este problema mediante el ajuste fino con datos sintéticos. Este fenómeno de adulación está relacionado con el aumento del tamaño del modelo y el ajuste fino con instrucciones. La adición de datos sintéticos para el ajuste fino puede reducir este comportamiento adulador.